Causal inference: relating language to event representations and events in the world

Events are not isolated but rather linked to one another in various dimensions. In language processing, various sources of information—including real-world knowledge, (representations of) current linguistic input and non-linguistic visual context—help establish causal connections between events. In this review, we discuss causal inference in relation to events and event knowledge as one aspect of world knowledge, and their representations in language comprehension. To evaluate the mechanism and time course of causal inference, we gather insights from studies on (1) implicit causality/consequentiality as a specific form of causal inference regarding the protagonists of cause/consequence events, and (2) the processing of causal relations. We highlight the importance of methodology in measuring causal inference, compare the results from different research methods, and emphasize the contribution of the visual-world paradigm to achieve a better understanding of causal inference. We recommend that further investigations of causal inference consider temporally sensitive measures and more detailed contexts

Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension?

Knoeferle P, Kreysa H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension? Frontiers in Psychology. 2012;3:538.During comprehension, a listener can rapidly follow a frontally seated speaker’s gaze to an object before its mention, a behavior which can shorten latencies in speeded sentence verification. However, the robustness of gaze-following, its interaction with core comprehension processes such as syntactic structuring, and the persistence of its effects are unclear. In two “visual-world” eye-tracking experiments participants watched a video of a speaker, seated at an angle, describing transitive (non-depicted) actions between two of three Second Life characters on a computer screen. Sentences were in German and had either subjectNP1-verb-objectNP2 or objectNP1-verb-subjectNP2 structure; the speaker either shifted gaze to the NP2 character or was obscured. Several seconds later, participants verified either the sentence referents or their role relations. When participants had seen the speaker’s gaze shift, they anticipated the NP2 character before its mention and earlier than when the speaker was obscured. This effect was more pronounced for SVO than OVS sentences in both tasks. Interactions of speaker gaze and sentence structure were more pervasive in role-relations verification: participants verified the role relations faster for SVO than OVS sentences, and faster when they had seen the speaker shift gaze than when the speaker was obscured. When sentence and template role-relations matched, gaze-following even eliminated the SVO-OVS response-time differences. Thus, gaze-following is robust even when the speaker is seated at an angle to the listener; it varies depending on the syntactic structure and thematic role relations conveyed by a sentence; and its effects can extend to delayed post-sentence comprehension processes. These results suggest that speaker gaze effects contribute pervasively to visual attention and comprehension processes and should thus be accommodated by accounts of situated language comprehension

The Processing of Emotional Sentences by Young and Older Adults: A Visual World Eye-movement Study

Carminati MN, Knoeferle P. The Processing of Emotional Sentences by Young and Older Adults: A Visual World Eye-movement Study. Presented at the Architectures and Mechanisms of Language and Processing (AMLaP), Riva del Garda, Italy

Conjunction meaning can modulate parallelism facilitation: Eye-tracking evidence from German clausal coordination

Knoeferle P. Conjunction meaning can modulate parallelism facilitation: Eye-tracking evidence from German clausal coordination. Journal of Memory and Language. 2014;75:140-158

Editorial: Socially Situated? Effects of Social and Cultural Context on Language Processing and Learning

Peer Reviewe

The role of visual scenes in spoken language comprehension : evidence from eye-tracking

The present thesis has investigated comprehension in situations in which language was related to the immediate scene. While current psycholinguistic theories have mainly been developed on the basis of insights from comprehension during reading of isolated sentences, we provide a description of how utterances are processed that relate to the immediate environment. The present research thus adds to existing theories of comprehension, making the first step towards a theory that can account for comprehension both when language is and when it is not about the immediate scene. We have suggested that, under the influence of Fodorian modularity, theoretical as well as experimental psycholinguistic research on on-line sentence comprehension has predominantly been concerned with comprehension during reading and with the effects of stored linguistic and world knowledge on comprehension. This was due to the assumption that core comprehension processes such as the structuring of an utterance could not be influenced on-line by ongoing non-linguistic processes such as visual perception. As a result, relatively little is known about the influence of scene perception on comprehension. One important study, however, by Tanenhaus et al. (1995) has demonstrated the rapid incremental influence of a visual referential context on the on-line structuring of an utterance. To extend our knowledge on how comprehension proceeds when language is related to the scene, we investigated two key issues. First, we explored which types of information in scenes have the potential to affect on-line comprehension processes such as structural disambiguation and incremental thematic role assignment. Second, we examined the nature of the interplay between visual perception and on-line utterance comprehension. Our findings show that perceived event relations between entities in the immediate visual context allow the rapid recovery of mental representations such as thematic roles in the on-line comprehension of spoken sentences, and actively influence incremental resolution of initial structural and role ambiguity in the linguistic input. The influence of scene information on comprehension was determined by a closely temporally coordinated interplay between visual perception and comprehension, in which both scene-driven and utterance-driven processes can take the lead. Furthermore, when the verb in the utterance did not uniquely identify either a depicted or another, stereotypical agent in the scene people had a clear preference for relying on role relations available from the depicted action performed by an agent in the scene rather than on their stereotypical thematic role knowledge. Our findings can be motivated by insights from language acquisition. During acquisition, children explore their environment and acquire new information from entities and events in the immediate scene. When they hear an adult describe that a girl is kicking a ball, and they do not know the verb "kick", perception of the event may allow them to acquire the conceptual meaning of the kicking-action, and to further infer that the entity doing the kicking is called "girl". Crucially, such perceptual exploration of the immediate scene for the acquisition of new concepts is utterance-mediated. The sentence directs attention to entities or events that then in turn can inform language acquisition. Taken together, these findings suggest that the important role of the coordinated interplay between visual perception and comprehension in language acquisition has fundamentally shaped the mechanisms of language comprehension.Die vorliegende Doktorarbeit hat Sprachverstehen in Situationen erforscht, in denen sich Sprache auf die unmittelbare Umgebung bezieht. Während die meisten psycholinguistischen Theorien anhand von Befunden aus Studien entwickelt wurden, die das Leseverständnis untersuchten, ermöglichen unsere Forschungsergebnisse es, Sprachverstehen zu beschreiben, wenn sich die zu verstehenden Sätze auf die unmittelbare Umgebung beziehen. Unsere Forschung bereichert somit bestehende Theorien, die aus der Untersuchung des Leseverständnisses hervorgingen, und macht einen ersten Schritt in Richtung einer psycholinguistischen Theorie, die sowohl für das Sprachverstehen während des Lesens, als auch für das Verstehen gesprochener Sprache die sich auf die unmittelbare Umgebung bezieht, Gültigkeit besitzt. Wir haben dargelegt, dass theoretische als auch experimentelle psycholinguistische Forschung über on-line Sprachverstehen sich in erster Linie mit Sprachverstehen während des Lesens befasste, und die Effekte von linguistischem und Weltwissen auf das Sprachverstehen untersuchte. Diese einseitige Ausrichtung der Forschung kam durch die Annahme zustande, dass zentrale Verstehensprozesse wie zum Beispiel die Strukturierung einer Äußerung nicht on-line durch gleichzeitig ablaufende Prozesse wie zum Beispiel visuelle Perzeption beeinflusst werden können. Infolgedessen ist nur verhältnismäßig wenig über den Einfluss visueller Wahrnehmung auf Sprachverstehen bekannt. Eine wichtige Studie, durchgeführt von Tanenhaus et al. (1995), hat allerdings gezeigt, dass ein visueller referentieller Kontext einen äußerst raschen Einfluss auf die inkrementelle Strukturierung einer Äußerung haben kann. Zur Erweiterung unseres Wissens bezüglich der Sprachverstehensprozesse, die ablaufen wenn wir Sprache verstehen, die sich auf die unmittelbare Umgebung bezieht, haben wir zwei grundlegende Forschungsfragen untersucht. Erstens haben wir erforscht, welche Arten von Information in visuellen Szenen das Potential haben, on-line Sprachverarbeitungsprozesse wie zum Beispiel die Strukturierung einer Äußerung oder die inkrementelle Zuweisung thematischer Rollen zu beeinflussen. Zweitens haben wir genauer ermittelt, welcher Art das Zusammenspiel zwischen visueller Perzeption und dem inkrementellen Verstehen einer Äußerung ist. Unsere Befunde zeigen, dass wahrgenommene Handlungsbezüge und Ereignisse zwischen Personen im unmittelbaren visuellen Umfeld es ermöglichen, rasch mentale Repräsentationen thematischer Rollen zu bilden. Solche mentalen Strukturen thematischer Relationen ermöglichten sodann aktiv die inkrementelle Zuweisung von thematischen Rollen und die Strukturierung einer anfänglich strukturell ambigen Äußerung. Der Einfluss von Bildinformation auf die Sprachverarbeitung wurde durch ein zeitlich genau koordiniertes Zusammenspiel zwischen visueller Perzeption und Sprachverstehen bestimmt, wobei sowohl die sich entfaltende Äußerung als auch die wahrgenommene Szene die Führungsrolle in diesem Zusammenspiel übernehmen kann. Ferner zeigten unsere Befunde, dass - wenn die Äußerung nicht eindeutig entweder stereotypes thematisches Rollenwissen oder eine abgebildeten Handlung identifizierte, sich das Sprachsystem vorzugsweise auf dargestellte Ereignisse in der thematischen Rollenvergabe verließ. Unsere Befunde können unter Zuhilfenahme von Erkenntnissen der Spracherwerbsforschung erklärt werden. Während des Spracherwerbs erforschen Kinder ihre Umgebung und eignen sich höchstwahrscheinlich Wissen über die Dinge und Ereignisse in ihrer unmittelbaren Umgebung an. Wenn Kinder zum Beispiel einen Erwachsenen sprechen hören, der gerade ein Ereignis beschreibt, in dem ein Mädchen einen Ball schießt, und sie das Verb "schießen" nicht kennen, so kann die Wahrnehmung des Ereignisses es ihnen ermöglichen, die konzeptuelle Bedeutung der Schieß-Handlung zu begreifen. Ferner ermöglicht die Wahrnehmung der Schieß-Handlung zu schlussfolgern, dass das Objekt, welches den Schuss ausführt, "Mädchen" genannt wird. Diese Ausführungen machen deutlich, dass das Sprachsystem darauf ausgerichtet ist neue Information aus der Umgebung zu erwerben, statt sich nur auf erworbenes Wissen zu verlassen. Die Wahrnehmung der unmittelbaren Umgebung ist dabei entscheidend durch sprachliche Äußerungen, die sich auf die Umgebung beziehen, beeinflusst. Ein Satz vermag Aufmerksamkeit auf Dinge und Ereignisse in der Umgebung zu lenken. Information über Dinge und Ereignisse im visuellen Kontext steht dann zur Verfügung um das Sprachverstehen inkrementell zu beeinflussen. Basierend auf unseren Ergebnissen sind wir davon überzeugt, dass die wichtige Rolle, die das koordinierte Zusammenspiel von visueller Perzeption und Sprachverstehen im Spracherwerb einnimmt, die Architektur des Sprachsystems und die Mechanismen des Sprachverstehens längerfristig entscheidend beeinflusst hat

Situated Sentence Processing: The Coordinated Interplay Account and a Neurobehavioral Model

Crocker MW, Knoeferle P, Mayberry M. Situated Sentence Processing: The Coordinated Interplay Account and a Neurobehavioral Model. Brain and Language. 2010;112(3):189-201

Spatial distance effects on incremental semantic interpretation of abstract sentences: Evidence from eye tracking

Guerra E, Knoeferle P. Spatial distance effects on incremental semantic interpretation of abstract sentences: Evidence from eye tracking. Cognition. 2014;133(3):535-552